package com.catmiao.spark.rdd.builder

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @title: RDD_Create_01_Memory
 * @projectName spark_study
 * @description: TODO
 * @author ChengMiao
 * @date 2024/2/1 11:33
 */
object RDD_Create_01_Memory {

  def main(args: Array[String]): Unit = {

    val sparkCon = new SparkConf().setMaster("local[*]").setAppName("rdd")

    val sparkContext = new SparkContext(sparkCon)


    // 从内存中 创建 RDD 将内存汇总集合的数据作为处理的数据源
    val seq = Seq[Int](1, 2, 3, 4)

    // parallelize 并行
    //    val rdd : RDD[Int] = sparkContext.parallelize(seq)
    // 底层调用的就是 rdd对象的parallelize方法
    val rdd : RDD[Int] = sparkContext.makeRDD(seq)

    rdd.collect().foreach(println)


    sparkContext.stop()

  }

}
